Phạm Hán Kiệt sinh tại Đại Bộ, Quảng Đông. Ông trải qua thời trẻ tại Đại học Trực Lệ do cha ông đồng sáng lập, và đến năm 1911 được nhận vào Học viện quân sự Quảng Đông, chuyên ngành thiên văn; sau khi tốt nghiệp năm 1913, ông gia nhập quân đội Quảng Đông, với tư cách sĩ quan tại cục thống kê ở Đông Giang và khu vực Triều Sán. Năm 1920 ông được thuyên chuyển sang Cục Lưỡng Quảng, chống lại cướp biển và trấn áp buôn lậu, rồi sau đó được thăng làm thuyền trưởng trên chiến hạm Giang Bình. Năm 1923, ông lại được thuyên chuyển sang Bộ Tổng tham mưu, và thăng hàm đại tá. Tháng 5 năm 1924, Trường quân sự Hoàng Phố thành lập tại Quảng Đông, khi Phạm Hán Kiệt đã gần 30 tuổi, điều này khiến ông đắn đo việc ứng tuyển, vì phần lớn học viên đều mới ở độ tuổi đôi mươi. Vì thành công của liên minh Quốc-Cộng thứ nhất, ông trở nên tin tưởng mạnh mẽ vào cuộc cách mạng quốc dân, rồi tham dự kỳ thi tuyển sinh và dễ dàng được nhận vào trường, trở thành học viên duy nhất trong trường mang quân hàm đại tá. Sau khi tốt nghiệp, cũng như những học viên khác, Phạm Hán Kiệt phải bắt đầu lại hoàn, từ cấp trung đội, đại đội đến tiểu đoàn trong chiến dịch trấn áp phản quân Trần Quýnh Minh trong cuộc Đông chinh lần thứ hai. Mùa hè năm 1926, Quân đội Cách mạng Quốc dân tiến hành Chiến tranh Bắc phạt, cũng là kinh nghiệm thực chiến đầu tiên của Phạm; ông được bổ nhiệm làm Tư lệnh Trung đoàn 10 thuộc Sư đoàn, là một trong những tư lệnh trung đoàn đầu tiên xuất thân là học viên Hoàng Phố. Phạm chỉ huy quân của mình tham chiến trong trận cầu Đinh Cửu nổi tiếng. Tháng 10 cùng năm, ông được thăng Phó tư lệnh Sư đoàn 10. Tháng 11 năm 1927, trong sự kiện Quốc – Cộng phân liệt, Trần Minh Khu, Tư lệnh Binh đoàn 1, và Tưởng Quang Nãi, Tư lệnh Sư đoàn 10, từ bỏ phe Tưởng Giới Thạch; Phạm Hán Kiệt cũng tới Nam Kinh. Theo lệnh Tưởng, ông được cử tới Chiết Giang làm tư lệnh quân đồn trú, vì là học viên Hoàng Phố khóa 1, và đến tháng 8, khi Tưởng Giới Thạch từ chức, Sư đoàn Chiết Giang bị giải tán và Phạm Hán Kiệt được thuyên chuyển về Bộ tư lệnh Lộ quân 8. Nhưng Tưởng Giới Thạch nhanh chóng quay lại nắm quyền, và Phạm Hán Kiệt được cử sang Nhật nghiên cứu chính trị và quân sự, rồi sang Đức học tập tại trường huấn luyện quân sự, cho đến khi Sự biến Mãn Châu xảy ra ngày 18 tháng 9 năm 1931. Năm 1936, ông thụ phong quân hàm Thiếu tướng.